GPT 系列

概述

OpenAI 开发的生成式预训练 Transformer 系列模型，从 GPT-1 到 GPT-4 持续推动大语言模型发展。

关键内容

1. GPT-1（2018）：提出 预训练-微调范式，使用 Transformer 解码器进行生成式预训练。
2. GPT-2（2019）：展示零样本学习能力，15 亿参数可通过自然语言提示完成任务。
3. GPT-3（2020）：1750 亿参数，涌现出推理、代码生成等未明确训练的能力。
4. GPT-4（2023）：多模态超大模型，支持文本和图像输入。

来源

• ai_papers_timeline.md — 2018-2023 年时间线条目

相关

• Alec Radford — relates_to
• Transformer — uses
• 预训练-微调范式 — implements
• BERT — compares_to